From Clicks to Intent: Cross-Platform Session Embeddings with LLM-Distilled Taxonomy for Financial Services Recommendations
点击到意图：金融推荐中跨平台会话嵌入与LLM意图蒸馏
🧭 跨平台会话嵌入与LLM意图蒸馏 ★ 深度解读
Capital One
自监督Transformer编码多模态点击流生成会话嵌入，并蒸馏LLM意图分类器，提升跨平台推荐与可解释性
📌 工作参考价值（4 点）
- 跨平台预登录信号复用：在电商中可借鉴类似架构，将匿名用户浏览行为（商品查看、停留时间、页面内容）通过自监督Transformer编码为固定维度会话向量，登陆后与已认证用户关联，直接作为召回或排序模型的输入特征，弥补通常被丢弃的预登录意图。
- LLM蒸馏提供可解释意图标签：用聚类采样让LLM迭代生成意图分类体系，再将LLM标注蒸馏为轻量MLP，实现毫秒级意图预测。推荐系统可将蒸馏出的意图标签用于用户分群、冷启动策略（如“正在比较信用卡的用户”），或是作为可解释特征注入排序层，比粗糙的页面计数特征富含更强语义。
- 双输出设计兼顾性能与分析：同一嵌入空间既产出高精度稠密向量用于排序/转化预测，又可蒸馏出人可读的意图标签用于业务分析、归因解释，工程上可复用一个Transformer编码器，在损失极小准确率（7%）的前提下大幅降低推理成本与延迟（3000+倍加速）。
- 无标注自监督预训练：序列预测任务（预测下一页标题或URL）无标注，简单有效，适合利用大规模浏览点击日志进行预训练，后续可微调用于具体业务目标，降低标注依赖。